#parallel decoding

4 篇

Large Flow Language Models

大规模流语言模型：连续流实现并行生成与自推测加速

🧭 连续流语言模型 · 块并行解码加速

UC Berkeley · Amazon · KAIST · Carnegie Mellon University

Lafa 8B 连续流语言模型用 <30B token 训练达到 AR 质量，并以自推测解码实现 2.54 倍吞吐

📌 工作参考价值（4 点）

连续流语言模型可直接适配预训练 AR 模型，只用不到 30B token 训练即可达到匹配或更好的指令跟随/推理/编码质量，对业务中已有 LLM 的低成本改造有参考价值；在搜索 query 生成、广告文案生成等高吞吐场景，可将 AR 模型转为流式并行解码。
自推测解码方案用同一模型生成流式草稿并自回归验证，无需额外 draft 模型，相较 multi-token prediction 和离散扩散方法吞吐提升显著（2.54 倍），可直接用于线上推理降本。
blockwise 流建模 + prefix caching + 块并行解码的组合可以作为工程参考：前缀因果注意力保证与 AR 的兼容性，块内双向异步流提升并行度，适合生成式推荐的 prompt 长、重复前缀多的场景。
流训练带来的 multi-token prediction 效应能保留甚至提升预训练 AR 能力，说明可以在业务微调阶段引入流训练做能力增强，而不只是推理加速。

LLM | 2026-10-19 | HF Daily | score 7/10

基于变分解码的并行语言模型

🧭 并行解码 · 变分推断 · LLM 推理加速 ★ 深度解读

University of California, Irvine · ETH Zurich · Charité Berlin · Hasso Plattner Institute

用潜变量路由 token 间依赖，单次前向生成多个一致 token，实现接近自回归质量的 2.3-5.7 倍推理加速

📌 工作参考价值（4 点）

在线 LLM 服务加速：如果业务中大量调用 LLM 做搜索 query 改写、导购 Agent、商品文案生成，可尝试把现有 AR 模型改造成 PLM 风格的 block-parallel decoder；通过 β 调节质量/吞吐，SFT 时只对 response token 计算损失，保留 prompt 作为 context，直接复用到指令跟随与对话场景。
辅助变量 / Semantic ID 设计：Geometry-aware auxiliaries 使用 embedding 空间的加权 V oronoi 划分而非词表顺序，对生成式推荐中的 Semantic ID 构建有直接启发：用 item embedding 聚类/划分 codebook，比随机 ID 更保留语义，也能提高解码确定性。
偏好对齐可复用：PLM 的 DPO 用 response-restricted composite score 并做 length normalization，同时优化 AR encoder 与 parallel decoder；在电商 Agent 的 RLHF / DPO 流程中可以借鉴，避免并行解码分支在偏好优化后掉点。
工程验证点：relaxed speculative acceptance 相比严格 speculative decoding 接受率平均提升 46.5%，质量损失小；若迁移到 vLLM 服务，建议先在小参数模型上验证 2-5× QPS 提升，确认长 context、beam search 与自定义 attention mask 的兼容性。

LLM | 2026-10-19 | cs.CL | score 8/10

Transformer 能同时持有两种思想：LLM 线性叠加的证据

🧭 Transformer 可解释性与推理加速

证明 LLM 输入端线性组合会产生输出分布叠加，并提出引导解码实现单次前向生成两条连贯续写

📌 工作参考价值（4 点）

推理加速：借鉴引导解码同时解耦叠加输出，可在一次前向中生成多个候选 query/文案，用于搜索推荐场景的多路召回或 A/B 文案测试，降低 GPU 成本。
多意图融合：若模型经轻量微调恢复叠加线性，可混合多个意图 prompt embedding（如“品牌词+品类词”），再用解码约束得到多条符合不同意图的结果，适合电商搜索 query 推荐。
可落地微调：叠加线性随预训练减弱但能通过轻量微调恢复，业务模型可以用少量数据进行微调，使多流输入并行处理成为可能，从而支持 Agent 同时处理多个子任务。
注意边界：该线性性质与训练程度相关，实际部署前需在自有模型上验证；建议在微调阶段加入保持叠加线性的正则项或混合训练数据。

LLM | 2026-09-23 | HF Daily | score 7/10

Nemotron-Labs-Diffusion：统一自回归、扩散与自推测的三模式语言模型

🧭 扩散语言模型 · 自推测解码

单模型支持自回归、扩散、自推测三种解码模式，在吞吐和效率上显著超越开源AR和扩散LM。

📌 工作参考价值（4 点）

Agent 系统低延迟推理：在对话或实时推荐 Agent 中，可切换至自推测模式，用扩散模型快速生成草稿再由 AR 验证，有效降低首 token 延迟和端到端耗时。
离线批量生成任务：生成大量商品描述、广告文案等场景，启用纯扩散模式并行解码，大幅提升吞吐，降低 GPU 成本。
灵活部署与资源管理：三模式架构允许根据 Concurrent Users 动态切换：高并发用 AR 减少排队，低并发用自推测提升交互体验，离线任务用扩散最大化硬件利用率。
训练范式迁移：联合 AR 与扩散训练的策略可借鉴至推荐系统，用于同时捕捉序列依赖（用户行为序列）和全局规划（推荐列表多样性），提升生成式推荐的质量。

LLM | 2026-07-06 | HF Daily | score 7/10